Địa bàn phường Ngã Tư Sở hiện nay trước đây là một phần phường Nguyễn Trãi, quận Đống Đa.

Ngày 21 tháng 12 năm 1974, khu phố Đống Đa được chia thành 48 tiểu khu. Tháng 12 năm 1978, các tiểu khu sáp nhập còn 28 tiểu khu và đến năm 1980 còn 24 tiểu khu, trong đó có tiểu khu Nguyễn Trãi.[4] Chưa rõ cái tên tiểu khu Nguyễn Trãi xuất hiện khi nào, có khả năng vào năm 1980,[5] với việc xây dựng Cầu Mới, hình thành thành con đường Nguyễn Trãi kéo dài từ Ngã tư Sở đến Phùng Khoang.[6] Tiểu khu Nguyễn Trãi được thành lập trên cơ sở tiểu khu Ngã Tư Sở với làng Khương Trung, vốn thuộc xã Khương Đình, huyện Thanh Trì.[7][8][9]

Ngày 10 tháng 6 năm 1981, Hội đồng nhân dân thành phố Hà Nội ra quyết định thay đổi cấp hành chính nội thành Hà Nội, đổi khu phố thành quận, tiểu khu thành phường.[4] Phường Nguyễn Trãi được thành lập trên cơ sở tiểu khu Nguyễn Trãi thuộc khu phố Đống Đa.

Ngày 22 tháng 11 năm 1996, Chính phủ ban hành Nghị định 74-CP.[1] Theo đó, tách 78,1 ha diện tích tự nhiên và 20.862 người của phường Nguyễn Trãi để thành lập phường Khương Trung trực thuộc quận Thanh Xuân mới thành lập.

Sau khi điều chỉnh địa giới hành chính, phường Nguyễn Trãi còn lại 23,4 ha diện tích tự nhiên, 11.230 người và được đổi tên thành phường Ngã Tư Sở như hiện nay.